·AI
1 分钟0
大模型记忆算法深度综述：从KV Cache到持久化记忆，AI如何从"过目即忘"到"长期进化"
> 当 AI 连你上周说过的话都记不住时，再强的推理能力也只是一次性的聪明。记忆，正在成为大模型架构设计的第一性维度。 引言 2026年8月，清华大学联合新加坡国立大学、博世人工智能研究院发布综述论文《Memory for Large Language Models》，首次从模型底层架构与
·技术
1 分钟0
大模型缓存命中机制深度解析：不只是前缀匹配，三层缓存体系让Token成本断崖式下降
引言 如果你看过自己团队的大模型 Token 消耗看板，多半会注意到一个现象：主力模型的缓存命中率常年挂在 90% 上下，而且越是高频使用、跑得越久的模型，命中率越稳。 这不是某一家的"黑科技"。从 OpenAI、Anthropic 到 DeepSeek、Google，所有主流大模型 AP
·AI, 技术架构
1 分钟0
大模型 API 缓存机制深度解析：Prompt Caching 的技术原理与安全隔离
大模型 API 缓存机制深度解析：Prompt Caching 的技术原理与安全隔离 引言 2026 年，大模型 API 的定价策略中出现了一个有趣的现象：缓存命中的输入 token 价格仅为正常价格的 10%。这意味着，如果你的请求命中了缓存，成本可以降低 90%。 这个机